近年来有条件的GAN已经成熟，并且能够产生高质量的现实形象。但是，计算资源和培训高质量的GAN所需的培训数据是巨大的，因此对这些模型的转移学习的研究是一个紧急话题。在本文中，我们探讨了从高质量预训练的无条件GAN到有条件的GAN的转移。为此，我们提出了基于HyperNetwork的自适应权重调制。此外，我们介绍了一个自我初始化过程，不需要任何真实数据才能初始化HyperNetwork参数。为了进一步提高知识转移的样本效率，我们建议使用自我监督（对比）损失来改善GaN判别者。在广泛的实验中，我们验证了多个标准基准上的Hypernetworks，自我初始化和对比损失的效率。
translated by 谷歌翻译
在混合神经网络中，昂贵的卷积层被不可训练的固定变换所取代，参数大幅减少。在以前的作品中，通过用小波代替卷积来获得良好的结果。然而，基于小波的混合网络继承了小波沿曲线及其轴偏置的消失力矩。我们建议使用剪力岩对重要图像功能（例如边缘，脊和斑点）的强大支持。最终的网络称为复杂的剪切网络（COSHNET）。它在针对Resnet-50和Resnet-18的时装摄影师上进行了测试，分别获得了92.2％和90.7％和91.8％的测试。所提出的网络具有49.9k参数，而RESNET-18的参数为11.18m，使用较少的拖鞋52倍。最后，我们在Resnet要求的200个时期与200个时期进行了培训，不需要任何高参数调整或正则化。代码：https：//github.com/ujjawal-k-panchal/coshnet
translated by 谷歌翻译
在本文中，我们提出了一种用于电池供电的自动空中机器人的在线规划制定方法。该方法包括同时计划覆盖路径和安排在板载计算任务。我们进一步得出了一种新颖的变量覆盖运动，可鲁棒性地限制和凭经验动机的能量模型。该模型包括基于自动计算能量建模工具的时间表的能源贡献。我们的实验表明，如何根据可用电池在线调整初始飞行计划，从而解决了不确定性。在电池意外情况下，由于不利的大气条件，我们的方法可能会在飞行中失败，并增加了整体可容忍度。
translated by 谷歌翻译
识别，跟踪和预测伤口愈合阶段的进展是正确诊断，有效治疗，促进愈合和减轻疼痛的基本任务。传统上，医学专家可能会观察到伤口，以确定当前的愈合状态并建议治疗。但是，可以通过视觉指标从视觉指标中产生此类诊断的专家可能会耗时且昂贵。此外，病变可能需要数周的时间才能进行康复过程，要求资源不断监测和诊断。自动执行此任务可能具有挑战性；遵循伤口从发作到成熟的伤口进展的数据集很小，很少，并且通常没有计算机视觉。为了应对这些挑战，我们引入了一种自我监督的学习计划，该计划由（a）学习伤口的时间动态的学习嵌入，（b）自动阶段发现的聚类以及（c）微调分类。拟议的自我监督和灵活的学习框架是在生物学上启发和培训的，并在人类标签为零的小数据集上进行了培训。 HealNet框架达到了高文本和下游分类精度。当对持有的测试数据进行评估时，HealNet获得了94.2％的文本准确性和93.8％的愈合阶段分类精度。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
2021-11-29
显着的方法已被广泛用于突出模型预测中的重要输入功能。大多数现有方法在修改的渐变函数上使用BackPropagation来生成显着性图。因此，嘈杂的渐变可能会导致不忠的特征属性。在本文中，我们解决了这个问题，并为神经网络引入了一个{\ IT显着指导训练}程序，以减少预测中使用的嘈杂渐变，同时保留了模型的预测性能。我们的显着指导训练程序迭代地掩盖小型和潜在的嘈杂渐变的功能，同时最大化模型输出的相似性，对于屏蔽和揭示的输入。我们将显着的指导培训程序从计算机视觉，自然语言处理和时间序列中的各种合成和实际数据集应用于各种神经结构，包括经常性神经网络，卷积网络和变压器。通过定性和定量评估，我们表明，在保留其预测性能的同时，显着的导向培训程序显着提高了各个领域的模型解释性。
translated by 谷歌翻译